Sinh ra là anh cả trong gia đình bốn con của James Earl Carter và Bessie Lillian Gordy tại Plains, một thị trấn thuộc vùng tây nam tiểu bang Georgia, Carter là tổng thống Mỹ đầu tiên chào đời trong bệnh viện.[6] Cậu bé Carter chứng tỏ mình là một học sinh giỏi ngay từ khi còn rất bé. Cậu luôn ham thích đọc sách. Khi còn là một học sinh trung học, Carter chịu ảnh hưởng bởi một trong các giáo viên ở đây.

Em trai của ông, Billy Carter (1937-1988) gây ra một số rắc rối khi ông còn đương chức, trong khi người em gái chẳng có gì nổi bật ngoại trừ thú vui sưu tầm và chạy xe mô tô Harley Davidson. Nhưng cô em út, Gloria Carter Spann (1929-1983), là một nhà truyền bá phúc âm nổi tiếng.

Carter theo học tại Đại học Tây Nam Georgia, Học viện Kỹ thuật Georgia, và nghiên cứu vật lý hạt nhân tại Đại học Union. Năm 1946, Carter nhận văn bằng cử nhân khoa học tại Học viện Hải quân Hoa Kỳ,[7] Carter tốt nghiệp học viện hải quân với thứ hạng 59 trong tổng số 820 học viên cùng khoá.

Carter phục vụ tại các tiềm thuỷ đỉnh thuộc Hạm đội Thái Bình Dương và Hạm đội Đại Tây Dương. Về sau, ông được Đô đốc Hyman G. Rickover tuyển chọn vào chương trình tiềm thuỷ đỉnh hạt nhân của hải quân, tại đây ông phục vụ trong cương vị một kỹ sư hạt nhân. Rickover là một sĩ quan nghiêm khắc, tạo lập nhiều ảnh hưởng trên Carter. Về sau, Carter nói rằng, sau cha mẹ ông, Rickover là người ông chịu ảnh hưởng nhiều nhất.

Yêu binh chủng hải quân, nhưng sau khi cha qua đời, Trung úy Carter xin giải ngũ; ngày 9 tháng 10 năm 1953, Carter rời quân ngũ[8][9] trở về thị trấn quê hương và thành lập trang trại.

Từ khi còn trẻ tuổi, Carter đã là một tín hữu Cơ Đốc sùng tín, ông phục vụ hội thánh trong cương vị một giáo viên Trường Chúa Nhật suốt cuộc đời chính trị của ông. Ngay cả khi trở thành tổng thống, Carter vẫn dành thời gian vài lần trong ngày để cầu nguyện, và xưng nhận rằng Chúa Giê-xu Cơ Đốc là động lực chủ đạo trong cuộc đời ông.

Carter kết hôn với Rosalynn Smith. Dù đã biết nhau từ trước, hai người có cuộc hẹn lần đầu vào năm 1945, khi Jimmy gia nhập hải quân tại Annapolis. Ngày 7 tháng 7 năm 1946, Jimmy và Rosalynn tổ chức hôn lễ tại Plains, thị trấn quê hương của cả hai.

Rosalynn sinh cho ông ba người con trai, John William (sinh năm 1947); James Earl III (1950), Donnel Jeffrey (1952), và sau này, một cô con gái Amy Lynn (1967).

Rosalynn hoạt động tích cực trong các cuộc vận động tranh cử tổng thống năm 1976 và 1980. Sau khi vào Tòa Bạch Ốc, Rosalynn trở thành cố vấn thân cận và tín cẩn nhất của tổng thống. Bà thường xuyên có mặt trong các buổi họp nội các, và là Đệ nhất Phu nhân đầu tiên mang theo cặp khi đến làm việc tại văn phòng của bà trong Tòa Bạch Ốc.